神经网络模型已经成功应用于大量自然语言处理任务。当今主流的端到端深度学习模型都是黑盒模型，人们难以知道模型做出某一决策的依据，从而不敢轻易放心地使用。同时，开发人员也很难进行针对性的调整（比如修改网络架构），难以让决策过程更透明与准确。深度学习模型的可解释性研究可以在做出决策的同时给出相应的依据，从而更明确 NLP 模型的业务适用场景，整个模型决策过程也是可控可反馈的，这就使得用户和监管人员对 AI 系统的信赖度得以增加。另一方面，可解释性是衡量人工智能系统性能的重要指标之一。比如在医疗、金融、法律等应用领域中，不可知不可控的 AI 技术应用会带来争议和质疑。NLP 模型的可解释性研究能够提升人们对深度学习技术的可信度，实现更加可知可控的推理决策。这些因素都促使人们努力解释这些黑盒模型是如何工作的。我国国务院印发的《新一代人工智能发展规划》中提到可解释性 AI（XAI）研究的重要性、信通院发布的《可信人工智能白皮书》提到了可解释人工智能的研究、国家自然科学基金委员会也发布了“可解释、可通用的下一代人工智能方法”重大研究计划。同时，XAI 研究在国际上也受到了越来越多的关注，许多国际组织机构将 XAI 作为重要的技术发展战略。美国和欧盟都在最近几年开展了可解释人工智能计划，一些研究机构也顺应发布了《可解释人工智能白皮书》等。本期『千言万语』邀请李东方博士，为大家介绍关于自然语言处理模型的可解释性的发现和见解。
此次分享关注模型校准和医学自动诊断任务。通过这些工作表明可解释的相关技术能够在自然语言处理领域不同任务发挥一定作用。此次分享关注于融合知识的模型来解决医学问答，表明显式和隐式领域知识表示的结合对机器阅读理解的性能改进和可解释性很有帮助。- 在自然语言处理模型中，可解释性和对抗性鲁棒性之间存在联系；
- （不）可靠的解释方法可能是由模型缺乏鲁棒性造成的。
李东方博士来自哈尔滨工业大学（深圳）计算机学院智能计算研究中心，目前专注于可解释自然语言处理领域的研究。曾在 AAAI、EMNLP、COLING 等会议发表相关论文，其硕士和本科分别毕业于哈尔滨工业大学（深圳）和中国海洋大学计算机系。
『千言万语』是千言中文开源数据集开设的月度技术分享栏目，在这里，你可以听到前沿的 NLP 研究进展、优质的评测技术方案分享以及一切你想听到的中文开源数据集相关的知识。